Chunk Recomputation under Real Document Revisions: Measuring Update Cost and Retrieval Quality of Fixed, Recursive, and Content-Defined Chunking
真实文档修订下的分块重算：固定、递归与内容定义分块更新成本及检索质量测量
🧭 RAG 文档分块更新成本评估
Anhui University of Technology
在真实维基百科修订对上量化三种分块策略的嵌入重算成本与检索质量，发现更新成本差异显著且检索质量相近
📌 工作参考价值（4 点）
- 对于维护动态知识库（如商品文档、政策页、新闻）的 RAG 系统，分块策略不能只看静态检索指标：固定大小分块在每次更新时重算 57-68% 的嵌入，内容感知分块（递归/内容定义）可降低到 38-56%，但需注意内容定义分块在部分中文文本上失败（4/62），工程上可选择更稳健的递归分块。
- 采用字节相同重用规则：只对内容发生变化的 chunk 重新嵌入，可显著降低更新成本；这要求存储 chunk 的哈希或原始文本，适合增量更新流水线。
- 当检索质量差异很小时（<2 个百分点），优先选择更新成本低的分块策略，尤其在高频更新场景（如价格/库存变化引起的文档编辑）。
- 评估分块器时应同时报告更新成本（重算比例）和检索质量，避免仅依据静态基准选型；参数长度会影响内容感知分块器的成本排名，需针对实际 chunk 长度做网格搜索。